Non-clairvoyant Reduction Algorithms for Heterogeneous Platforms

We revisit the classical problem of the reduction collective operation in a heterogeneous environment. We discuss and evaluate four algorithms that are non-clairvoyant, i.e., they do not know in advance the computation and communication costs. On the one hand, Binomial-stat and Fibonacci-stat are static algorithms that decide in advance which operations will be reduced, without adapting to the environment; they were originally defined for homogeneous settings. On the other hand, Tree-dyn and Non-Commut-Tree-dyn are fully dynamic algorithms, for commutative or non-commutative reductions. With identical computation costs, we show that these algorithms are approximation algorithms. When costs are exponentially distributed, we perform an analysis of Tree-dyn based on Markov chains. Finally, we assess the relative performance of all four non-clairvoyant algorithms with heterogeneous costs though a set of simulations. Key-words: scheduling, reduction, approximation algorithms, non-clairvoyant algorithms ∗ École Normale Supérieure de Lyon and IUF, Lyon, France † FEMTO-ST, Université de Franche-Comté, Besançon, France ‡ CNRS, École Normale Supérieure de Lyon, Lyon, France ha l-0 08 32 10 2, v er si on 3 11 J un 2 01 3 Algorithmes de réductions non-clairvoyants pour plates-formes hétérogènes Résumé : Nous revisitons le problème classique de la primitive de communication collective de réduction dans le cadre d’un environnement hétérogène. Nous présentons et analysons quatre algorithmes non-clairvoyants, c’est-à-dire qui ne connaissent pas les coûts de calcul et de communication. D’un côté, Binomialstat et Fibonacci-stat sont des algorithmes statiques qui décident a priori de l’arbre de réduction, sans pouvoir s’adapter à l’environnement au cours de la réduction. D’un autre côté, Tree-dyn et Non-Commut-Tree-dyn sont des algorithmes complètement dynamiques pour les réductions commutatives ou non-commutatives. Lorsque les coûts de calcul sont constants, nous montrons que les algorithmes commutatifs admettent des facteurs d’approximation. Lorsque les coûts de calcul et/ou de communication sont distribués selon une loi exponentielle, nous analysons Tree-dyn à l’aide des chaînes de Markov. Enfin, nous comparons les performances des quatre algorithmes dans un environnement hétérogène à l’aide de simulations. Mots-clés : ordonnancement, réduction, algorithmes d’approximation, algorithmes non-clairvoyants ha l-0 08 32 10 2, v er si on 3 11 J un 2 01 3 Non-clairvoyant reduction algorithms for heterogeneous platforms 3